百度工程师首次现场演示:“文心千帆”如何可视化微调大模型

趣味科技v 2023-05-09 22:35

5月9日,百度智能云在北京举行文心大模型技术交流会,向在场的百家企业展示文心大模型在产品技术、场景研发、生态建设等领域的最新进展。

大模型引发的AI再造产业趋势已经势不可挡。但当下企业最大的难题是,如何高效、低成本得获取大模型能力,如何挑选到最合适的大模型服务。

百度智能云方面表示,正在内测的“文心千帆大模型平台”,是全球首个一站式的企业级大模型生产平台,不但提供包括文心一言在内的大模型服务及第三方大模型服务,还提供大模型开发和应用的整套工具链。

未来,文心千帆将提供两种服务:第一,文心一言是目前中国市场最领先的大模型,未来,文心千帆将以文心一言为核心,提供大模型服务,帮助客户改造产品和生产流程。第二,作为一个大模型生产平台,企业可以在文心千帆上基于任何开源或闭源的大模型,开发自己的专属大模型。

百度集团副总裁侯震宇表示,大模型时代下,企业的创新要脱颖而出,不但需要智能的算力、灵活的框架平台、丰富的大模型体系以及优质的应用方案,还需要这四者之间端到端的适配与优化,这是一个“既要、又要、还要”的端到端创新工程。

【百度集团副总裁侯震宇】

现场,百度智能云与联想集团、用友、宝兰德等14家文心千帆生态伙伴举行签约仪式。

用友网络副总裁、用友研究院院长吕建伟表示,中国企业关注大模型的落地能力,一个简单的智能问答背后有着非常复杂的加工过程。我们期望和百度智能云一起,把微调、性能调优等工具简化,推动大模型应用。

北京宝兰德软件董事长易存道表示,如何把大模型在垂直行业做好,是目前各个企业都要考虑的问题,多数企业无法像百度一样有能力建设大模型。怎么能够把百度的大模型能力和企业业务有效结合起来,创造更强的价值,是企业非常好的弯道超车机会。

【百度智能云与14家文心千帆生态伙伴举行签约仪式】

国内第一个!百度工程师现场演示大模型微调全过程

事实上,目前企业应用大模型面临诸多难点:模型体积大,训练难度高;算力规模大,性能要求高;数据规模大,数据质量参差不齐。大模型产业化需要云计算厂商将模型开发、训练、调优、运营等复杂过程封装起来,通过低门槛、高效率的企业级服务平台深入产业,为千行百业提供服务。

侯震宇表示,文心千帆大模型平台是全球首个一站式的企业级大模型平台。之所以称为全球首个一站式平台,是因为它不但提供包括文心一言在内的大模型服务,还提供大模型开发和应用的整套工具链。此外,该平台还支持各类第三方大模型,未来将成为大模型生产和分发的集散地。

目前,文心千帆大模型平台提供公有云服务、私有化部署两大交付模式。

在公有云服务方面,将提供:推理(直接调用大模型的推理能力)、微调(通过高质量精标业务数据,高效训练出特定行业的大模型)、托管(将模型发布在百度智能云,以实现更加稳定高效的运行)三种服务,大幅降低企业部署大模型的门槛。

百度智能云AI与大数据平台总经理忻舟在现场演示了如何微调大模型,这也是国内首次演示如何微调行业专属大模型的全过程。文心千帆大模型平台提供了可视化开发工具链,提供了数据生成、标注、回流的数据闭环管理功能。客户以少量数据即可发起模型微调,最快几分钟就可获得自己的专属大模型。

在私有化部署方面,文心千帆大模型平台支持软件授权(提供在企业环境中运行的大模型服务)、软硬一体(提供整套大模型服务及对应的硬件基础设施),租赁服务(提供机器和平台的租赁满足客户低频需求)三种方式。私有化部属能够满足对数据监管有严格要求的企业客户需求。

忻舟总结,文心千帆大模型平台有六大特点:更易用,开箱即用,节约客户机会成本;更全面,提供覆盖全生命周期的工具链;更高效,可以端到端的全流程优化;更安全;更开放;更集成,更多插件拓展模型能力边界。

【百度智能云AI与大数据平台总经理忻舟:文心千帆大模型平台有六大特点】

“快且收敛,是大模型应用训练中一个非常重要的指标。”忻舟说,“只快不收敛,大模型的训练是没有用的。文心千帆在多机多卡训练性能方面,可以更快达到收敛的状态,在全球权威AI基准评测MLPerf榜单中排名世界第一。”

已有300余家生态伙伴参与文心一言内测

据了解,百度内部产品正在基于文心一言升级。

比如,在百度员工内部的智能工作平台“如流”上,很多程序员会就一些产品或技术难题询问产品经理、研发同事,数量多,频次高。过去获得一个答案平均时间约5分钟,现在如流有了一个文心千帆AI小助手,可以代替同事自动回答各种问题,平均5秒就可以解答一个难题,大幅提升了工作效率。

同时,百度智能云的金融行业应用、政务行业应用、智能创作平台、智能客服、企业知识管理、数字人直播平台等六大智能产品系列,将基于文心大模型全面升级,未来将在安全评估完成后上线。

此外, 文心千帆大模型平台面向首批企业客户内测以来,正在与不同领域客户联合研发,在智能办公、旅行服务、电商直播、政务服务、金融服务五大领域打造行业样板间。

金山办公助理总裁田然表示,金山办公要跟中国优秀的大模型提供方站在一起,做好大模型应用方的角色,用更好的办公软件,为客户提供更多的价值。文心千帆在安全合规、模型深度、迭代速度、推理性能等多个方面都有一定的优势,在意图理解、PPT大纲生成、范文书写、生成待办列表、文生图等多模态生成的场景上,双方的联合开发已经取得了进展。金山办公和文心千帆的合作,会进一步推动大模型在办公领域的应用和快速落地。今天的合作只是刚刚开始,未来金山办公与百度将在更多更有价值的功能和产品上持续探索。

百度还帮助长安汽车构建了人工智能基础设施平台和数字人平台。现在双方基于百度文心大模型正在开发一款智能产品,赋能长安汽车的一款量产车型,打造创新性的用户体验和持续的研发动能。

百度集团副总裁袁佛玉表示:“截止目前,已有超过300家生态伙伴参与文心一言内测,在400多个企业内部场景取得测试成效。”

【百度集团副总裁袁佛玉】

企业该如何选择大模型?除了算力还要看三个指标

国内大公司纷纷推出大模型,对于企业来说,如何挑选一个合适的大模型成为新难题。

实际上,企业选择大模型可以从三个标准评判:大模型本身的能力、大模型企业服务的能力、全栈技术积累程度。

侯震宇表示,百度是全球唯一在芯片、框架、模型和应用这四层进行全栈布局的人工智能公司。正因为可以实现全栈端到端的优化,文心一言自3月启动内测不到2个月,已完成4次技术版本升级,大模型推理成本降为原来的十分之一。

此外,大模型的大计算、大参数、高成本,也对大模型时代的AI基础设施提出新的要求。基于四层框架优势,百度智能云打造了国内首个全栈自研的AI基础设施“百度AI大底座”,面向企业AI开发提供端到端的解决方案。尤其是在框架层和模型层之间,AI大底座有很强的协同作用,可以帮助企业构建更高效的模型,持续调优性能,并显著降低成本。

百度智能云云计算产品解决方案和运营部总经理宋飞举例:“大家可能会觉得堆积算力、写好代码、然后进行模型训练,把它跑起来就行了。实际上在训练过程中会遇到各种各样的挑战,很少有人能够使得一个大模型训练过程能够在连续一两天内不出问题。百度AI大底座可以为大模型提供高效、稳定的训练和有效的收敛。千卡加速比达到90%,资源利用率70%,开发效率提升100%。这是AI大底座为大模型的开发和应用带来的价值。”

百度AI大底座也在为合作伙伴提供帮助。百图生科基于与百度智能云联合构建的生物超算平台,训练出了全球首个、也是目前最大的生命科学领域的千亿大模型“xTrimo”。在地平线的智能驾驶解决方案全生命周期开发中,百度AI大底座为高性能数据存储和模型训练提供支持。

趣味科技v 资深媒体人彭承文和他的小伙伴们耕耘打理的科技自媒体,传播趣味文章,八卦前卫科技,年度十大媒体人,十佳科技自媒体,美通社媒体传播专家,2018平昌冬奥会火炬手.
评论
  • 在智能网联汽车中,各种通信技术如2G/3G/4G/5G、GNSS(全球导航卫星系统)、V2X(车联网通信)等在行业内被广泛使用。这些技术让汽车能够实现紧急呼叫、在线娱乐、导航等多种功能。EMC测试就是为了确保在复杂电磁环境下,汽车的通信系统仍然可以正常工作,保护驾乘者的安全。参考《QCT-基于LTE-V2X直连通信的车载信息交互系统技术要求及试验方法-1》标准10.5电磁兼容试验方法,下面将会从整车功能层面为大家解读V2X整车电磁兼容试验的过程。测试过程揭秘1. 设备准备为了进行电磁兼容试验,技
    北汇信息 2025-01-09 11:24 109浏览
  • 在当前人工智能(AI)与物联网(IoT)的快速发展趋势下,各行各业的数字转型与自动化进程正以惊人的速度持续进行。如今企业在设计与营运技术系统时所面临的挑战不仅是技术本身,更包含硬件设施、第三方软件及配件等复杂的外部因素。然而这些系统往往讲究更精密的设计与高稳定性,哪怕是任何一个小小的问题,都可能对整体业务运作造成严重影响。 POS应用环境与客户需求以本次分享的客户个案为例,该客户是一家全球领先的信息技术服务与数字解决方案提供商,遭遇到一个由他们所开发的POS机(Point of Sal
    百佳泰测试实验室 2025-01-09 17:35 120浏览
  • HDMI 2.2 规格将至,开启视听新境界2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新HDMI规范为规模庞大的 HDMI 生态系统带来更多选择,为创建、分发和体验理想的终端用户效果提供更先进的解决方案。新技术为电视、电影和游戏工作室等内容制作商在当前和未来提供更高质量的选择,同时实现多种分发平台。96Gbps的更高带宽和新一代 HDMI 固定比率速率传输(Fixed Rate Link)技术为各种设备应用提供更优质的音频和视频。终端用户显示器能以最
    百佳泰测试实验室 2025-01-09 17:33 128浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球中空长航时无人机产值达到9009百万美元,2024-2030年期间年复合增长率CAGR为8.0%。 环洋市场咨询机构出版了的【全球中空长航时无人机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球中空长航时无人机总体规模,包括产量、产值、消费量、主要生产地区、主要生产商及市场份额,同时分析中空长航时无人机市场主要驱动因素、阻碍因素、市场机遇、挑战、新产品发布等。报告从中空长航时
    GIRtina 2025-01-09 10:35 104浏览
  • 一个真正的质量工程师(QE)必须将一件产品设计的“意图”与系统的可制造性、可服务性以及资源在现实中实现设计和产品的能力结合起来。所以,可以说,这确实是一种工程学科。我们常开玩笑说,质量工程师是工程领域里的「侦探」、「警察」或「律师」,守护神是"墨菲”,信奉的哲学就是「墨菲定律」。(注:墨菲定律是一种启发性原则,常被表述为:任何可能出错的事情最终都会出错。)做质量工程师的,有时会不受欢迎,也会被忽视,甚至可能遭遇主动或被动的阻碍,而一旦出了问题,责任往往就落在质量工程师的头上。虽然质量工程师并不负
    优思学院 2025-01-09 11:48 116浏览
  • 在过去十年中,自动驾驶和高级驾驶辅助系统(AD/ADAS)软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而,目前仍缺乏能够高质量集成多传感器数据采集的解决方案。康谋ADTF正是应运而生,它提供了一个广受认可和广泛引用的软件框架,包含模块化的标准化应用程序和工具,旨在为ADAS功能的开发提供一站式体验。一、ADTF的关键之处!无论是奥迪、大众、宝马还是梅赛德斯-奔驰:他们都依赖我们不断发展的ADTF来开发智能驾驶辅助解决方案,直至实现自动驾驶的目标。从新功能的最初构思到批量生
    康谋 2025-01-09 10:04 101浏览
  • 职场是人生的重要战场,既是谋生之地,也是实现个人价值的平台。然而,有些思维方式却会悄无声息地拖住你的后腿,让你原地踏步甚至退步。今天,我们就来聊聊职场中最忌讳的五种思维方式,看看自己有没有中招。1. 固步自封的思维在职场中,最可怕的事情莫过于自满于现状,拒绝学习和改变。世界在不断变化,行业的趋势、技术的革新都在要求我们与时俱进。如果你总觉得自己的方法最优,或者害怕尝试新事物,那就很容易被淘汰。与其等待机会找上门,不如主动出击,保持学习和探索的心态。加入优思学院,可以帮助你快速提升自己,与行业前沿
    优思学院 2025-01-09 15:48 108浏览
  • 车机导航有看没有懂?智能汽车语系在地化不可轻忽!随着智能汽车市场全球化的蓬勃发展,近年来不同国家地区的「Automotive Localization」(汽车在地化)布局成为兵家必争之地,同时也是车厂在各国当地市场非常关键的营销利器。汽车在地化过程中举足轻重的「汽车语系在地化」,则是透过智能汽车产品文字与服务内容的设计订制,以对应不同国家地区用户的使用习惯偏好,除了让当地车主更能清楚理解车辆功能,也能进一步提高品牌满意度。客户问题与难处某车厂客户预计在台湾市场推出新一代车款,却由于车机导航开发人
    百佳泰测试实验室 2025-01-09 17:47 44浏览
  • 1月9日,在2025国际消费电子展览会(CES)期间,广和通发布集智能语音交互及翻译、4G/5G全球漫游、随身热点、智能娱乐、充电续航等功能于一体的AI Buddy(AI陪伴)产品及解决方案,创新AI智能终端新品类。AI Buddy是一款信用卡尺寸的掌中轻薄智能设备,为用户带来实时翻译、个性化AI语音交互助手、AI影像识别、多模型账户服务、漫游资费服务、快速入网注册等高品质体验。为丰富用户视觉、听觉的智能化体验,AI Buddy通过蓝牙、Wi-Fi可配套OWS耳机、智能眼镜、智能音箱、智能手环遥
    物吾悟小通 2025-01-09 18:21 51浏览
  • Snyk 是一家为开发人员提供安全平台的公司,致力于协助他们构建安全的应用程序,并为安全团队提供应对数字世界挑战的工具。以下为 Snyk 如何通过 CircleCI 实现其“交付”使命的案例分析。一、Snyk 的挑战随着客户对安全工具需求的不断增长,Snyk 的开发团队面临多重挑战:加速交付的需求:Snyk 的核心目标是为开发者提供更快、更可靠的安全解决方案,但他们的现有 CI/CD 工具(TravisCI)运行缓慢,无法满足快速开发和部署的要求。扩展能力不足:随着团队规模和代码库的不断扩大,S
    艾体宝IT 2025-01-10 15:52 65浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦